Mặt trước mảnh đất trên có các căn nhà số 51 và 53 phố Ngô Quyền phường Ngô Quyền thị xã Sơn Tây thành phố Hà Nội, nơi mà đầu thế kỷ XX từng là tòa nhà của ông nội ông Nguyễn Cao Kỳ là cụ Nguyễn Cao Côn. Hiên nay tại căn nhà số 51, trong ngõ có người cháu gái con anh họ của ông Kỳ đang sống.

Ông nội của ông là cụ Nguyễn Cao Côn[12] làm tới chức Thương tá (tức Thương biện hay Thương tá Tỉnh vụ) tỉnh Sơn Tây. Theo ông, Thân phụ của ông sinh năm 1895 trong gia đình Nho sỹ và quan chức địa phương (a family of scholars and minor government offcials). Thân phụ ông là cụ Nguyễn Cao Hiếu, làm nghề thầy giáo, sinh được 4 người con: 3 gái 1 trai. Ông là người con thứ tư và là con trai duy nhất. Trong hồi ký của mình mang tên Đứa con cầu tự (Buddha’s Child), ông viết: As the only boy among four sisters, I was treated like a little prince and allowed to do whatever I pleased. My three older sisters tell me that when I was a toddler, the only thing that would make me stop crying and smile was to let me smash a dish or a glass against the floor.[13] (Là cậu bé duy nhất trong số bốn chị em. Tôi được cưng chiều như một hoàng tử và được phép làm bất kỳ điều gì mình thích. Ba người chị của tôi từng kể với tôi rằng: Khi tôi còn là một đứa trẻ chập chững biết đi, cách duy nhất làm cho tôi nín khóc và nở nụ cười là để cho tôi đập vỡ đĩa chén xuống sàn nhà.) Thuở nhỏ, Nguyễn Cao Kỳ đã từng sống tại phố Hữu Lợi thị xã Sơn Tây tỉnh Sơn Tây, nay là số nhà 51 phố Ngô Quyền phường Ngô Quyền Thị xã Sơn Tây Hà Nội. Ký sự của Lê Tuấn Vũ về chuyến hồi hương đầu tiên của ông vào tháng 1 năm 2004, có tường thuật như sau:"Chiều ngày 7/1/2004, tức 16 tháng chạp âm lịch, chỉ còn 14 ngày nữa là đến tết 2004, chúng tôi có mặt tại Thị xã Sơn Tây. Cả một con phố Ngô Quyền dài, nơi ông sinh ra và lớn lên, đang râm ran bàn tán chuyện ông được về thăm quê...".[14]

Ông có ba người vợ với 6 người con:

Người vợ đầu là người Pháp, lấy nhau khi ông học phi công tại châu Phi, có với ông 5 người con (4 trai 1 gái là: Nguyễn Cao Thắng, Nguyễn Cao Trí, Nguyễn Cao Đạt, Nguyễn Cao Tuấn, Nguyễn Cao Kỳ Vân). Khoảng năm 1962, Nguyễn Cao Kỳ đã làm thủ tục ly dị với người vợ này[15]. ("Theo lời ông thuật lại qua hồi ký:... Cuộc hôn nhân đầu tiên của tôi với một phụ nữ Pháp – và chúng tôi đã có 5 đứa con với nhau – đã kết thúc bằng sự ly thân và tiếp theo đó chúng tôi đã ly dị. Sau khi ly dị với vợ tôi, theo lời của một nhà báo, tôi đã hưởng được "hai năm hết sức sôi động của một người có số đào hoa"... Ông kể năm 1964, trên một chuyến bay của hàng không Việt Nam đến Thái Lan, ông đã gặp một cô chiêu đãi viên: "là một cô gái 20 tuổi, với những nét đẹp cổ kính nhất mà tôi chưa thấy bao giờ. Nàng tên là Đặng Tuyết Mai và tôi đã thuyết phục mời đi dùng cơm với tôi chiều hôm đó...".)[16] Như vậy, theo lời của chính ông, thì ông có khoảng 2 năm tự do trước khi có cuộc hôn nhân thứ 2 với bà Đặng Tuyết Mai.

Người vợ thứ hai là Đặng Tuyết Mai, trước khi lấy ông năm 1964 là tiếp viên hàng không của hàng không Air Vietnam[16]. Hai ông bà sinh được duy nhất một người con gái là Nguyễn Cao Kỳ Duyên. Khi sang Hoa Kỳ, (khoảng năm 1989, sau 25 năm chung sống[17]), hai ông bà đã ly dị nhau..

Người vợ thứ ba, sống cùng ông trong những năm cuối đời, có tên là Lê Hoàng Kim Nicole[11][18]. Bà này trước đó đã có một đời chồng và có bốn con riêng[19].

Theo danh sách các con trong bản cáo phó tiếng Việt, ông còn có một con gái nữa là Nguyễn Cao Kỳ Trang, không rõ với người vợ nào[19].